OpenAI元社員からの警告: AIがもたらす破滅的な未来
https://scrapbox.io/files/66aaecd84be692001c0acdd2.png
サンフランシスコで最初に未来を見ることができる。
過去1年間で、町の話題は100億ドルの計算クラスターから1000億ドルのクラスター、そして1兆ドルのクラスターへと移り変わった。6ヶ月ごとに、取締役会の計画にゼロが1つ追加されている。舞台裏では、今後10年間で利用可能な電力契約や調達可能なすべての変圧器を確保するための激しい争奪戦が繰り広げられている。アメリカの大企業は、長年見られなかったアメリカの産業力の動員に何兆ドルもの資金を注ぎ込もうとしている。今後10年の終わりまでに、アメリカの電力生産は数十パーセント成長するだろう。ペンシルベニアのシェールフィールドからネバダの太陽光発電ファームまで、何億個ものGPUがうなりを上げることになる。
AGIレースが始まった。我々は思考し推論できる機械を構築している。2025年から26年までに、これらの機械は多くの大学卒業生を凌駕するだろう。今後10年の終わりまでに、それらはあなたや私よりも賢くなる。我々は文字通りの意味で超知能を手に入れることになる。その過程で、半世紀見られなかった国家安全保障の力が解き放たれ、やがて「プロジェクト」が始まるだろう。運が良ければ、我々は中国共産党との全面的な競争に突入し、運が悪ければ全面戦争になる。
今や誰もがAIについて語っているが、自分たちに何が起ころうとしているのか、わずかでも理解している人はほとんどいない。NVIDIAのアナリストたちでさえ、2024年がピークに近いと考えている。主流の評論家たちは、「単に次の単語を予測しているだけだ」という意図的な無視にとらわれている。彼らは誇大宣伝とビジネスの常套句しか見ていない。せいぜい、インターネット規模の技術変革を想像する程度だ。
hiroya_iizuka.icon 甘いよ、そうじゃないってこと...
まもなく、世界は目覚めるだろう。しかし現時点では、おそらくサンフランシスコとAI研究所にいる数百人ほどの人々だけが、状況を把握している。奇妙な運命の力によって、私はその中の一人となった。数年前、これらの人々は狂っていると嘲笑されたが、彼らは傾向線を信じ、過去数年間のAIの進歩を正確に予測することができた。これらの人々が今後数年間についても正しいかどうかは、まだわからない。しかし、彼らは私が出会った中で最も賢い人々であり、この技術を構築している当事者だ。おそらく彼らは歴史の奇妙な脚注となるか、あるいはシラードやオッペンハイマー、テラーのように歴史に名を残すことになるだろう。もし彼らが未来を少しでも正確に見ているのであれば、我々は荒々しい旅に出ることになる。
私たちが見ているものをお話ししよう。
2027年までのAGIは驚くほど現実味を帯びている。GPT-2からGPT-4までの4年間で、私たちは幼稚園児程度の能力からスマートな高校生程度の能力へと進化した。計算能力（年間約0.5桁の増加）、アルゴリズムの効率性（年間約0.5桁の増加）、および「制限解除」による利益（チャットボットからエージェントへ）のトレンドラインをたどると、2027年までにもう一度、幼稚園児から高校生への質的な飛躍が期待できる。
AI進歩は人間レベルで止まらない。何億ものAGIがAI研究を自動化し、10年分のアルゴリズム進歩（5桁以上）を1年以内に圧縮する可能性がある。私たちは急速に人間レベルから、はるかに超人的なAIシステムへと移行するだろう。超知能の力と危険性は劇的なものとなるだろう。
III. 課題
最も驚異的な技術資本の加速が始まっている。AIの収益が急速に成長するにつれ、今後10年の終わりまでに、GPU、データセンター、電力インフラの構築に何兆ドルもの資金が投入されるだろう。アメリカの電力生産を数十パーセント増加させることを含む産業動員は、激しいものとなるだろう。
国内の主要なAI研究所は、セキュリティを後回しにしている。現在、彼らは基本的にAGIの重要な秘密を中国共産党に銀盆に乗せて差し出しているようなものだ。国家レベルの脅威からAGIの秘密と重みを守ることは膨大な努力を要し、私たちはその準備ができていない。
私たちよりもはるかに賢いAIシステムを確実に制御することは、未解決の技術的問題だ。これは解決可能な問題だが、急速な知能爆発の間に容易に制御不能になる可能性がある。これを管理することは非常に緊張を伴うだろう。失敗は容易に破滅的な結果をもたらす可能性がある。
超知能は決定的な経済的・軍事的優位性をもたらす。中国はまだまったく勝負から脱落していない。AGIへの競争において、自由世界の存続そのものが危機に瀕することになるだろう。私たちは権威主義国家に対する優位性を維持できるだろうか？そして、その過程で自滅を避けることができるだろうか？
AGIへの競争が激化するにつれ、国家安全保障機関が関与するようになるだろう。アメリカ政府は眠りから覚め、2027年から28年までには何らかの形で政府のAGIプロジェクトが始まるだろう。スタートアップ企業には超知能を扱うことはできない。どこかのSCIF（機密情報施設）で、最終局面が始まるだろう。
もし私たちが正しければ？